한글내용
(Korean Abstract) |
최근 심층신경망을 이용한 어플리케이션들이 개발되면서 다양한 기기에서 딥러닝을 수행하려는 연구가 활발히 진행되고 있다. 그러나 심층신경망 모델들은 일반화 성능을 높이기 위해 모델의 크기를 점차 키워가는 추세이다. 특히, 자연어 처리 분야는 Transformer 구조가 발표된 이후 모델 크기가 이전과 보다 빠르고 크게 증가하는 분야 중 하나이다. 이런 자연어 처리 모델들의 증가된 모델 크기는 제한된 리소스를 갖는 모바일 기기에 모델을 배포할 때 큰 장애가 된다. 본 논문에서는 이를 해결하기 위해 K-Means Clustering을 이용한 모델 압축 기법을 소개하고, 대표적인 자연어처리 모델인 Bert에 적용했다. 적용 결과 4bit만으로도 충분히 정확도를 떨어트리지 않고 압축할 수 있음을 확인할 수 있었다. 이 뿐만 아니라, 256개의 Centroid를 가질 경우 모델의 일반화 성능을 떨어트리지 않고, 모델의 저장 용량을 3.9배 줄일 수 있음을 확인했다. |
